Ngô Đạo Tử mồ côi cha mẹ từ nhỏ, gia đình nghèo. Ông thông minh hiếu học, theo học những nhà thư pháp nổi tiếng như Trương Túc, Hạ Tri Chương. Quãng thời gian theo học thư pháp đã tạo cơ sở cho việc học và phát triển hội họa của ông sau này[1].

Đối với hội họa, Ngô Đạo Tử tỏ ra ham thích từ bé. Tới năm 17 tuổi, ông đã giỏi vẽ tranh, nắm vững kỹ xảo cao siêu của hội họa. Do có tài năng, ông được Vĩ Tự Lập, một sủng thần của Đường Trung Tông, đồng thời là người ham mê nghệ thuật, chú ý đến và thu nhận làm tiểu lại.